AI Papers Daily

#KL regularization

2 篇

On KL-Regularized Policy Optimization

KL正则化策略优化：面向异步LLM Agent的单Rollout免Critic更新

🧭 LLM agent 强化学习策略优化

Princeton University

KLPO将KL正则锚定在采样器，实现每prompt单rollout、无critic的LLM agent策略优化

📌 工作参考价值（4 点）

• 在异步在线 RL（如导购 Agent、客服 Agent、广告文案优化）中，当采样器与训练器策略不一致时，避免 importance ratio clipping，改用 KLPO 的 sampler 锚定 + 最小二乘拟合，可减少 off-policy 偏差与实现复杂度。
• 每 prompt 单 rollout 且 critic-free，只依赖 terminal return，适合长轨迹/工具调用场景，省去 GRPO 成组采样成本，也省去 value 网络与 learned normalizer。
• 若业务已有 SPPO/GPO/REBEL/BPO 类策略优化，可参照 KLPO 统一视角进行替换或校准；top-K / binary KL 近似的精确 gap 公式可用于低成本估计 KL 项时的偏差权衡。
• 需注意论文为理论分析，未在具体推荐/电商数据上验证，实际落地前应先在小规模 agent 任务上验证稳定性与收益。

Training | 2026-10-05 | HF Daily | score 7/10

RLHFKL regularizationpolicy optimizationLLM agentscritic-freeimportance sampling

Minimally Invasive Steering of Language Models

语言模型的最小侵入式引导

🧭 LLM测试时对齐 · 预logit引导

Johns Hopkins University

MISVO用Fisher信息惩罚预logit干预的局部KL，冻结LLM测试时奖励引导，7项任务6项最佳

📌 工作参考价值（4 点）

• 对冻结 LLM 的最后隐藏状态加位置特定干预向量，用 Fisher 二次型惩罚诱导分布与参考分布的局部 KL，适合电商文案、广告标题生成时按点击率、GMV 等黑盒奖励在线调整，无需微调模型。
• 工程上只需用冻结 language-model head 做矩阵-向量积解析计算梯度，轻量可部署到推理链路中，可在 Agent 调优或文案生成后叠加测试时奖励优化，避免重训成本。
• 局部 KL 正则相比裸奖励优化，能防止输出分布过度偏离原始模型，保持语义连贯性与多样性，适合需要生成质量与业务目标平衡的场景，如搜索广告文案、商品卖点生成。
• 对于变化快、延迟反馈的奖励信号（用户反馈、转化数据），可借鉴该无参数测试时优化思路，与 Best-of-N 采样结合，提升平均奖励且维持样本多样性。

LLM | 2026-09-24 | cs.LG | score 7/10

pre-logit steeringKL regularizationFisher informationtest-time alignmentactivation steering